在监督的学习中，已经表明，在许多情况下，数据中的标签噪声可以插值而不会受到测试准确性的处罚。我们表明，插值标签噪声会引起对抗性脆弱性，并证明了第一个定理显示标签噪声和对抗性风险在数据分布方面的依赖性。我们的结果几乎是尖锐的，而没有考虑学习算法的电感偏差。我们还表明，感应偏置使标签噪声的效果更强。

机器学习模型与虚假相关性的脆弱性主要在监督学习（SL）的背景下进行了讨论。但是，缺乏对虚假相关性如何影响流行的自学学习（SSL）和基于自动编码器模型（AE）的表现的见解。在这项工作中，我们通过评估这些模型在现实世界和合成分配变化数据集上的性能来阐明这一点。在观察到线性头可能容易受到虚假相关性的观察之后，我们使用对分布外（OOD）数据训练的线性头制定了一种新颖的评估方案，以将预训练模型的性能隔离为潜在的偏差用于评估的线性头。通过这种新方法，我们表明SSL模型始终比AE和SL模型在OOD概括方面始终更健壮，因此在OOD概括方面更好。

尽管在构建强大的神经网络方面具有明显的计算优势，但使用单步方法的对抗训练（AT）是不稳定的，因为它遭受了灾难性的过度拟合（CO）：网络在对抗性训练的第一阶段获得了非平凡的鲁棒性，但突然达到了一个阶段在几次迭代中，他们很快失去了所有鲁棒性。尽管有些作品成功地预防了CO，但导致这种显着失败模式的不同机制仍然很少理解。但是，在这项工作中，我们发现数据结构与AT动力学之间的相互作用在CO中起着基本作用。特别是，通过对自然图像的典型数据集进行主动干预，我们建立了一个因果关系。在方法上单步中的数据和CO的发作。这种新的观点提供了对导致CO的机制的重要见解，并为更好地理解强大模型构建的一般动态铺平了道路。可以在https://github.com/gortizji/co_features上找到复制本文实验的代码。

随着机器学习算法在关键决策过程中的敏感数据上部署，它们也是私人和公平的越来越重要的。在本文中，我们表明，当数据具有长尾结构时，不可能构建既私有的学习算法，又无法对少数族裔亚人群产生更高的准确性。我们进一步表明，即使有严格的隐私要求，放松的整体准确性也会导致良好的公平性。为了证实我们在实践中的理论结果，我们使用各种综合，视觉〜（\ cifar和celeba）以及表格〜（法学院）数据集和学习算法提供了一组广泛的实验结果。

最近，Wong等人。表明，使用单步FGSM的对抗训练导致一种名为灾难性过度拟合（CO）的特征故障模式，其中模型突然变得容易受到多步攻击的影响。他们表明，在FGSM（RS-FGSM）之前添加随机扰动似乎足以防止CO。但是，Andriushchenko和Flammarion观察到RS-FGSM仍会导致更大的扰动，并提出了一个昂贵的常规化器（Gradalign），DEMATER（GARGALIGN）DES昂贵（Gradalign）Dust Forrasiniger（Gradalign）Dust co避免在这项工作中，我们有条不紊地重新审视了噪声和剪辑在单步对抗训练中的作用。与以前的直觉相反，我们发现在干净的样品周围使用更强烈的噪声与不剪接相结合在避免使用大扰动半径的CO方面非常有效。基于这些观察结果，我们提出了噪声-FGSM（N-FGSM），尽管提供了单步对抗训练的好处，但在大型实验套件上没有经验分析，这表明N-FGSM能够匹配或超越以前的单步方法的性能，同时达到3 $ \ times $加速。代码可以在https://github.com/pdejorge/n-fgsm中找到

Logical reasoning of text is an important ability that requires understanding the information present in the text, their interconnections, and then reasoning through them to infer new conclusions. Prior works on improving the logical reasoning ability of language models require complex processing of training data (e.g., aligning symbolic knowledge to text), yielding task-specific data augmentation solutions that restrict the learning of general logical reasoning skills. In this work, we propose APOLLO, an adaptively pretrained language model that has improved logical reasoning abilities. We select a subset of Wikipedia, based on a set of logical inference keywords, for continued pretraining of a language model. We use two self-supervised loss functions: a modified masked language modeling loss where only specific parts-of-speech words, that would likely require more reasoning than basic language understanding, are masked, and a sentence-level classification loss that teaches the model to distinguish between entailment and contradiction types of sentences. The proposed training paradigm is both simple and independent of task formats. We demonstrate the effectiveness of APOLLO by comparing it with prior baselines on two logical reasoning datasets. APOLLO performs comparably on ReClor and outperforms baselines on LogiQA.

知识密集型任务，例如开放域问题答案（QA），需要访问大量的世界知识或领域知识。知识密集型任务的一种常见方法是采用检索到阅读的管道，该管道首先从诸如Wikipedia之类的外部语料库中检索少数相关的上下文文档，然后预测在检索文档的条件下得到答案。在本文中，我们提出了一种新的观点，可以通过用大型语言模型生成器代替文档检索器来解决知识密集型任务。我们称我们的方法生成-Read Read（GenRead），该方法首先提示大型语言模型根据给定问题生成上下文文档，然后读取生成的文档以产生最终答案。此外，我们提出了一种基于聚类的提示方法，该方法选择了不同的提示，从而产生了涵盖不同观点的生成文档，从而更好地回忆了可接受的答案。我们对三个不同的知识密集任务进行了广泛的实验，包括开放域质量检查，事实检查和对话系统。值得注意的是，GenRead在Triviaqa和WebQ上实现了71.6和54.4的精确匹配分数，显着超过了最先进的检索到+4.0和+3.9的最先进的dpr-fid，而无需从任何外部知识源中检索任何文档。最后，我们证明可以通过结合检索和生成来进一步提高模型性能。

模型预测控制（MPC）是一种最先进的（SOTA）控制技术，需要迭代地解决硬约束优化问题。对于不确定的动态，基于分析模型的强大MPC施加了其他约束，从而增加了问题的硬度。当需要在较少的时间内需要更多计算时，问题会加剧性能至关重要的应用程序。过去已经提出了数据驱动的回归方法，例如神经网络，以近似系统动力学。但是，在没有符号分析先验的情况下，此类模型依赖于大量标记的数据。这会产生非平凡的培训间接开销。物理知识的神经网络（PINN）以合理的精度获得了近似的普通微分方程（ODE）的非线性系统的吸引力。在这项工作中，我们通过PINNS（RAMP-NET）提出了一个强大的自适应MPC框架，该框架使用了一种神经网络，部分从简单的ODE中训练，部分是由数据训练的。物理损失用于学习代表理想动态的简单odes。访问损失函数内部的分析功能是正常化的，为参数不确定性执行了可靠的行为。另一方面，定期数据丢失用于适应剩余的干扰（非参数不确定性），在数学建模过程中未被误解。实验是在模拟环境中进行的，以进行四轨的轨迹跟踪。与两种基于SOTA回归的MPC方法相比，我们报告了7.8％至43.2％和8.04％和8.04％至61.5％的跟踪误差的降低。

Transformers have been shown to be able to perform deductive reasoning on a logical rulebase containing rules and statements written in English natural language. While the progress is promising, it is currently unclear if these models indeed perform logical reasoning by understanding the underlying logical semantics in the language. To this end, we propose RobustLR, a suite of evaluation datasets that evaluate the robustness of these models to minimal logical edits in rulebases and some standard logical equivalence conditions. In our experiments with RoBERTa and T5, we find that the models trained in prior works do not perform consistently on the different perturbations in RobustLR, thus showing that the models are not robust to the proposed logical perturbations. Further, we find that the models find it especially hard to learn logical negation and disjunction operators. Overall, using our evaluation sets, we demonstrate some shortcomings of the deductive reasoning-based language models, which can eventually help towards designing better models for logical reasoning over natural language. All the datasets and code base have been made publicly available.

基础培训数据的质量对于建立具有更广泛的Generalizabilty的表演机器学习模型非常重要。但是，当前机器学习（ML）工具缺乏简化的流程，用于提高数据质量。因此，获取数据质量见解并迭代地修剪以获取最大代表下游使用情况的数据集的错误仍然是Ad-hoc手动过程。我们的工作解决了这种数据工具差距，需要纯粹通过以数据为中心的技术构建改进的ML工作流程。更具体地说，我们介绍了（1）在数据集中找到嘈杂或错误标记的样本的系统框架，（2）识别最具信息丰富的样本，当包含在训练中时，该样本将提供最大的模型性能提升。我们展示了我们在公共场合的框架以及两家财富500强公司的私营企业数据集的效果，并确信这项工作将形成ML团队执行更智能的数据发现和修剪的基础。